Recently, the success of pre-training in text domain has been fully extended to vision, audio, and cross-modal scenarios. The proposed pre-training models of different modalities are showing a rising trend of homogeneity in their model structures, which brings the opportunity to implement different pre-training models within a uniform framework. In this paper, we present TencentPretrain, a toolkit supporting pre-training models of different modalities. The core feature of TencentPretrain is the modular design. The toolkit uniformly divides pre-training models into 5 components: embedding, encoder, target embedding, decoder, and target. As almost all of common modules are provided in each component, users can choose the desired modules from different components to build a complete pre-training model. The modular design enables users to efficiently reproduce existing pre-training models or build brand-new one. We test the toolkit on text, vision, and audio benchmarks and show that it can match the performance of the original implementations.
translated by 谷歌翻译
当前的最佳性能模型用于知识图推理（KGR）将几何学对象或概率分布引入嵌入实体，并将一阶逻辑（fol）查询引入低维矢量空间。它们可以总结为中心尺寸框架（点/框/锥，β/高斯分布等）。但是，它们具有有限的逻辑推理能力。而且很难概括到各种功能，因为中心和大小是一对一的约束，无法具有多个中心或尺寸。为了应对这些挑战，我们相反提出了一个名为“特征逻辑嵌入框架Flex”的新颖的KGR框架，这是第一个KGR框架，它不仅可以真正处理所有运营，包括连词，析取，否定，否定等等，而且还支持各种操作特征空间。具体而言，特征逻辑框架的逻辑部分是基于向量逻辑的，它自然地对所有FOL操作进行了建模。实验表明，FLEX在基准数据集上明显优于现有的最新方法。
translated by 谷歌翻译
Spectral methods provide consistent estimators for community detection in dense graphs. However, their performance deteriorates as the graphs become sparser. In this work we consider a random graph model that can produce graphs at different levels of sparsity, and we show that graph neural networks can outperform spectral methods on sparse graphs. We illustrate the results with numerical examples in both synthetic and real graphs.
translated by 谷歌翻译
图神经网络（GNN）是非欧盟数据的强大深度学习方法。流行的GNN是通信算法（MPNNS），它们在本地图中汇总并结合了信号。但是，浅的mpnns倾向于错过远程信号，并且在某些异质图上表现不佳，而深度mpnns可能会遇到过度平滑或过度阵型等问题。为了减轻此类问题，现有的工作通常会从欧几里得数据上训练神经网络或修改图形结构中借用归一化技术。然而，这些方法在理论上并不是很好地理解，并且可能会提高整体计算复杂性。在这项工作中，我们从光谱图嵌入中汲取灵感，并提出$ \ texttt {powerembed} $ - 一种简单的层归一化技术来增强mpnns。我们显示$ \ texttt {powerembed} $可以证明图形运算符的顶部 - $ k $引导特征向量，该算子可以防止过度光滑，并且对图形拓扑是不可知的；同时，它产生了从本地功能到全球信号的表示列表，避免了过度阵列。我们将$ \ texttt {powerembed} $应用于广泛的模拟和真实图表，并展示其竞争性能，尤其是对于异性图。
translated by 谷歌翻译
产品捆绑是在线零售中使用的一种常见销售机制。为了设定有利可图的捆绑价格，卖方需要从交易数据中学习消费者的偏好。当客户购买捆绑包或多种产品时，不能使用经典方法（例如离散选择模型）来估计客户的估值。在本文中，我们提出了一种使用捆绑销售数据来了解消费者对产品的估值的方法。该方法将其降低为估计问题，其中样品由多面体区域审查。使用EM算法和蒙特卡洛模拟，我们的方法可以收回消费者估值的分布。该框架允许未观察到的无购买和集群市场细分。我们提供有关概率模型的可识别性和EM算法的收敛性的理论结果。该方法的性能也被数值证明。
translated by 谷歌翻译
近年来，人类面孔的影子化化身已经走了很长一段路，但是该地区的研究受到缺乏公开可用的高质量数据集的限制。在这项工作中，我们介绍了Multiface，这是一种新的多视图，高分辨率的人脸数据集，该数据集是从13个身份的神经面部渲染研究中收集的13个身份。我们介绍了Mugsy，这是一种大型多摄像机设备，可捕获面部表现的高分辨率同步视频。 Multiface的目的是缩小学术界高质量数据的可访问性的差距，并使VR触觉研究能够进行研究。随着数据集的释放，我们对不同模型体系结构对模型的新观点和表达式的插值能力进行消融研究。通过有条件的VAE模型作为我们的基线，我们发现添加空间偏见，纹理翘曲场和残差连接可改善新型视图合成的性能。我们的代码和数据可在以下网址获得：https：//github.com/facebookresearch/multiface
translated by 谷歌翻译
我们提出了一种方法，通过将知识存储在外部知识图（kg）中，并使用密集的索引从该kg中检索，使自然语言理解模型更有效地有效。给定（可能是多语言的）下游任务数据，例如德语中的句子，我们从kg中检索实体，并使用其多模式表示形式来改善下游任务绩效。我们使用最近发布的VisualSem KG作为我们的外部知识存储库，涵盖了Wikipedia和WordNet实体的子集，并比较基于元组和基于图的算法的混合，以学习基于KG多模式信息的实体和关系表示。 。我们在两个下游任务上展示了学识渊博的实体表示形式的有用性，并在多语言命名实体识别任务上的性能提高了$ 0.3 \％$ - $ 0.7 \％\％$ f1，而我们的准确度最高为$ 2.5 \％\％$ $提高。在视觉意义上的歧义任务上。我们所有的代码和数据都提供：\ url {https://github.com/iacercalixto/visualsem-kg}。
translated by 谷歌翻译
在这项工作中，证明了功能$ f $的收敛引理是分析映射的有限组成和最大运算符。引理表明，$ \ delta $ - 定位点附近附近的隔离本地最小点$ x^*$正在收缩到$ x^*$，为$ \ delta \ to 0 $。它是强烈凸出$ c^1 $函数的版本的自然扩展。但是，引理的正确性是微妙的。分析映射对于诱饵是必要的，因为用可区分或$ c^\ infty $映射代替它会导致引理错误。该证明基于{\ l} ojasiewicz的半分析集的分层定理。此证明的扩展显示了$ f $的一组固定点的几何表征。最后，提出了在固定点上的稳定性概念，称为收敛稳定性。它询问，在小数字错误下，合理的收敛优化方法是否在固定点附近开始应最终收敛到同一固定点。仅当目标函数既非滑动和非概念），趋同稳定性的概念在质量上变得无处不在。通过收敛引理，证明了$ F $的收敛稳定性的直观等效条件。这些结果共同提供了一个新的几何观点，可以研究非平滑非凸优化中“何处连接”的问题。
translated by 谷歌翻译
在多武装强盗框架中，有两种配方通常用于处理时变奖励分布：对抗性强盗和非间抗匪徒。虽然它们的oracelles，算法和后悔分析显着差异，但我们在本文中提供了统一的制定，这是平滑地桥接两种特殊情况。该配方使用Oracle在时间窗口内采用最佳固定臂。根据窗口大小，它在非间断匪盗中的对策强盗和动态oracle中进入Oracle。我们提供符合匹配的下限实现最佳遗憾的算法。
translated by 谷歌翻译
最近在文献中显示，在线学习实验的样本平均值在用于估计平均奖励时偏置。为了纠正偏差，违规评估方法，包括重要性采样和双倍稳健的估算，通常计算条件倾向分数，这对于UCB等非随机策略而言。本文提供了使用Bootstrap衰减样本的过程，这不需要对奖励分配的知识并应用于任何自适应策略。数值实验证明了受欢迎的多武装强盗算法产生的样本的有效偏差，例如探索 - 然后提交（ETC），UCB，Thompson采样（TS）和$ \ epsilon $ -Greedy（例如）。我们分析并提供了ETC算法下的程序的理论理由，包括真实和引导世界中偏差衰减率的渐近融合。
translated by 谷歌翻译